Từ trước năm 1698, ở Đề Ngạn (mà sau này gọi là Chợ Lớn) đã có làng Minh Hương của người Hoa (vì không thần phục nhà Thanh, họ đã rời bỏ Trung Quốc sang định cư ở miền Nam Việt Nam)[3]. Tuy nhiên, vùng đất ấy trở nên đông đúc kể từ khi người Hoa ở Cù Lao Phố (tức Biên Hòa ngày nay) chạy tới đây lánh nạn sau khi nơi ở của họ bị quân Tây Sơn tàn phá năm 1776 [4].

Rồi do nhu cầu, người Hoa lập chợ (hay phát triển chợ có đã từ trước) để trao đổi hàng hóa. So với chợ Tân Kiểng của người Việt thì chợ Sài Gòn (khu vực Bưu điện Chợ Lớn ngày nay) có lớn hơn nên được người dân gọi là Chợ Lớn[5]. Sau đó, tên chợ cũng được dùng để chỉ vùng đất mà nó tọa lạc. Theo học giả Vương Hồng Sển, thì "Chợ Lớn như nay ta còn gọi, đối với Hoa kiều là Thầy Ngòn (Đề Ngạn) hay Xấy Cung (Tây Cống: Sài Gòn); còn sách cũ Pháp viết là Cholon hay Cholen, Cho Leun"[6].

Thành phố Chợ Lớn thành lập ngày 6 tháng 6 năm 1865 theo nghị định của Thống đốc Nam Kỳ, trên địa bàn một số thôn của ba tổng: Tân Phong Thượng (tổng này mặc nhiên giải thế), Tân Phong Trung và Tân Phong Hạ thuộc huyện Tân Long, phủ Tân Bình, tỉnh Gia Định. Đến ngày 3 tháng 10 năm 1865, địa giới thành phố được xác định cụ thể với diện tích gần 1 km2, chỉ là một phần quận 5 hiện nay. Đến ngày 20 tháng 10 năm 1879, Thống đốc Nam Kỳ Le Myre de Vilers ra Nghị định công nhận thành phố Chợ Lớn (Ville de Cholon) là đô thị loại 2 (municipalité de 2e classe) ngang cấp tỉnh, cùng với các thành phố Tourane và Phnôm Pênh được thành lập sau này của xứ Đông Dương thuộc Pháp. Đứng đầu thành phố là viên Thị trưởng (Maire), do Thống đốc Nam Kỳ đề cử và Toàn quyền Đông Dương bổ nhiệm. Thành phố Chợ Lớn là đơn vị hành chính tách biệt hẳn với tỉnh Chợ Lớn. Tuy nhiên, trụ sở các cơ quan chính quyền của tỉnh Chợ Lớn đều đặt tại thành phố Chợ Lớn.

Ngày 1 tháng 7 năm 1882, tuyến đường xe điện đầu tiên ở Việt Nam dài 5 kilômét, rộng 1 mét, nối Sài Gòn và Chợ Lớn bắt đầu hoạt động. Theo sách Bến Nghé xưa của Sơn Nam thì Giữa Sài Gòn và Chợ Lớn phía đất thấp, chưa có dự kiến nên nối liền, còn ruộng lúa với người cày, ao nuôi vịt, ngọn rạch cạn, đợi đến năm 1916 mới bắt đầu đắp đường, trải đá ong... (Đó là đường Galliéni, nay là Trần Hưng Đạo).

Đến năm 1930, hai thành phố Sài Gòn và Chợ Lớn đã giáp nhau ở chỗ nay là đường Nguyễn Văn Cừ và Nguyễn Thiện Thuật. Ngày 27 tháng 4 năm 1931, Tổng thống Pháp ký sắc lệnh hợp nhất thành phố Sài Gòn và thành phố Chợ Lớn thành một đơn vị hành chính mới gọi là Khu Sài Gòn - Chợ Lớn. Đứng đầu khu là một Khu trưởng, do Toàn quyền Đông Dương bổ nhiệm. Khu trưởng là Chủ tịch Hội đồng quản lý khu Sài Gòn - Chợ Lớn. Chức Thị trưởng vẫn còn tồn tại đến năm 1934, nhưng một số quyền hạn của chức này chuyển sang cho Khu trưởng.

Năm 1951, Khu Sài Gòn - Chợ Lớn đổi thành Đô thành Sài Gòn - Chợ Lớn và đến năm 1956 đổi thành Đô thành Sài Gòn.

Kể từ đây, địa danh "Chợ Lớn" chỉ còn được dùng để chỉ toàn bộ khu vực quận 5, quận 6 và quận 11 của Đô thành Sài Gòn (sau năm 1976 là thành phố Hồ Chí Minh).